build: Use AC_SYS_LARGEFILE

So we do the right thing on 32 bit.

pull-local: Don't call g_hash_table_init() on a NULL hash

Not sure why this wasn't crashing before.

core: Add API to convert csum -> checksum without malloc()

Just doing some profiling, this was in the top malloc() callers.

pull-local: Fix uninitialized variable ref

TODO: A few updates

pull-local: Output status even in non-tty case

This way I can see progress when running builddisks.

admin: Use /sysroot/ostree automatically

When booted inside an ostree system, we want /sysroot/ostree, not
just /ostree by default.

switchroot: Use MS_MOVE to / rather than chroot

This fixes a number of bugs; the two biggest are:

1) On shutdown systemd can correctly umount /
2) We can use linux-user-chroot inside the system, as is
   necessary to do upgrades

See http://lists.freedesktop.org/archives/systemd-devel/2012-September/006703.html

pull-deploy: Allow switching trees too

$ ostree admin pull-deploy gnome-ostree trees/gnomeos-3.8-x86_64-devel

Now works to switch your current tree to -devel from the current
runtime.

pull-local: Fix crasher in previous commit when not connected to tty

pull-local: Port to GSConsole

pull-local: Support pulling checksums too

This matches what pull allows.

libgsystem: Update to the latest

admin: Don't overwrite previous ref unless it's different

We shouldn't overwrite deploy/<osname>/previous unless we actually
have something new.

This fixes the bug where two consecutive:

$ ostree admin upgrade foo
$ ostree admin upgrade foo

would end up pruning the data for foo/previous from the repo.

pull: Drop dead code to pad output strings too

This is in GSConsole now.

Port ostree-pull to GSConsole

As part of this, we need to ensure our streams are inherited across
the chain of child processes.

Update to the latest libgsystem

admin install: Ensure /ostree is initialized first

https://bugzilla.gnome.org/show_bug.cgi?id=692008

admin: Ensure /var/log/journal exists

This is admittedly a hack, since the story is that services should be
handling /var on their own.  But on the other hand the current systemd
story is that admins should create it to enable it.  Possibly a better
fix is --enable-journal-always or something for systemd.

update-kernel: Change dracut to use tmpdir on host, fix deploy path lookup

We had a bit of legacy code that looked for "current" if the deploy
path was unspecified; this needs to be deploy/OSNAME/current.

Secondly, we need to point dracut at a tmpdir outside of the root when
doing FUSE, because directories with mode 0700 and owned by root:root
aren't writable.

Also update libgsystem to the latest.

admin: Add --no-bootloader option to update-kernel

Will be used by the QA scripts, since we need to inspect the kernel
configuration and generate a correct grub conf from that, rather than
trying to have update-bootloader reuse an existing config, since there
won't be one initially.

Update to the latest libgsystem

admin update-kernel: Drop support for booting from host kernel

Now that gnome-ostree has a kernel, this functionality is no longer
necessary.  It was always a hack.

admin update-kernel: Ensure initramfs has correct owner/mode

It was 0600, and owned by the creating process (in the fuse case,
non-root!).  We want it 0644/root/root.

admin: Propagate --boot-dir to subcommands

Really, I should be using internal functions here...

core: Drop dead prototypes from header

Followup to previous commit.

core: Reuse more libgsystem API in utils

More code drain to libgsystem.

core: Ensure kernel and initramfs are put into place with fdatasync()

Via a new libgsystem API.

core: Drain fdatasync() API into libgsystem

Just code cleanup.

admin: Allow specifying --boot-dir

This is intended for use by QA tools that want to manipulate a
loopback-mounted disk image or the like.

admin: restore current-etc symlink

It is useful now like it was before, and it is used by the grub
update script.

https://bugzilla.gnome.org/show_bug.cgi?id=690743

Release 2012.13

pull: Fix a race condition causing an early exit

This is a little less magical than what we had before.

pull: Use a basic exponential moving average for bytes/sec

Still should look what other downloading programs do, but this
is better then what we had before.

admin: Add new run-triggers command

In some cases we want the ability to run triggers independently of
checking out a tree.  For example, due to kernel limitations which
impact the gnome-ostree build system, we may need to run triggers on
first boot via systemd.

Secondarily, if the user installs a system extension which adds a new
shared library to /usr/lib for example, the system will need to run
the triggers again.

Also, I think I want to take triggers out of the core and put them in
ostree admin anyways.

admin: Rework /ostree/deploy to support multiple independent operating systems

The real vision of OSTree is to "multiple versions of multiple
operating systems".  Up until now, it's worked to install gnome-ostree
inside a host distribution, but several things don't work quite right
if you try to do completely different systems.

In the new model, there's the concept of an "osname" which encompasses
a few properties:

1) Its own /var
2) A set of trees deployed in /ostree/deploy/OSNAME/
3) Its own "current" and "previous" links.

Now it no longer really makes sense to boot with "ostree=current".
Instead, you specify e.g. "ostree=gnome/current".

This is an incompatible change to the deployment code - you will need
to run init-os gnome and redeploy.

All "ostree admin" subcommands now take an OSNAME argument.

admin: Support installing a kernel from the tree, default to it

The "protocol" here is rather lame; we just look for
/boot/vmlinuz-RELEASE and /lib/modules/RELEASE.  But good enough for
now.

core: Use new libgsystem GSSubprocess API

It's less screwing around with GPtrArray in most cases.

build: Set libsoup min/max defines

So we don't get warnings about soup_requester being deprecated.

core: Pick better names for tmpfiles if no prefix given

Just makes it easier to track down where files came from.

OtWorkerQueue: Don't exit until we've fulfilled initial requests

This counts as an implicit "hold" on the first items, which we must
complete.  Otherwise there are race conditions where the queue may
signal idle when in fact the main process is still working.

Update to latest libgsystem

Has a bugfix change to gs_subprocess_new().

core: Allow creating tempfile without associated output stream

Just slightly more efficient, and we'll use this for spawning curl to
a tempfile.

core: Clean up tmpfile creation code

I have been seeing random failures here...not entirely sure why yet,
but this code is cleaner.

Update libgsystem

Just keeping up.

admin init-fs: New builtin

Should be used when initializing a new root filesystem for a "pure
OSTree" system; for example, what "ostbuild privhelper-deploy-qemu"
does when creating a filesystem image loopback.

admin: Process newly added config files recursively

Previously we just failed out if there was a new directory in /etc
added by the user (or the system).

Update to the latest libgsystem

Update to latest libgsystem

Has a rather important bugfix.

core: Use mmap() with O_NOATIME if merely reading archive-z2 entries

Previously we'd open(path, O_NOATIME) and do a series of small read()
calls to just parse the header.  I think this will trigger kernel readahead
into the compressed portion, but we don't care about that.

This should be more efficient.

cleanup: Rebase spawn API on top of libgsystem GSSubprocess

We didn't need most the parameters anyways, so this is fewer lines of
code.  It also helps me test GSubprocess.

Update to the latest libgsystem

Switch to using libgsystem shutil

More code moved into libgsystem.

Switch to libgsystem file reading API

More draining common utilities into libgsystem.

Switch to libgsystem directory creation API

More code being dropped into a common place.

otutil: Move checksum related bits into checksum-utils.[ch]

This paves the way for slimming ot-gio-utils.[ch] into libgsystem.

Drop some bits from libotutil that are now merged in libgsystem

libotutil: Drop dead prototype

Was never implemented.

deploy: With --no-kernel, do copy host kernel modules

This is used by the qemu scripts, and there we *do* need the kernel
modules inside the target system.

pull-local: Make multithreaded

We were blocking for easily 1/10 or 1/5 of a second in fdatasync(),
which drastically slows down the whole process.

This threading isn't quite as good as the ostree-pull command, but it
lets us avoid the dependency on libsoup everywhere, and it's simpler.

core: Drop old GLIB_CHECK_VERSION(2.32) bits

We hard require 2.34 now; if it doesn't exist on the system, that's
what embedded dependencies are for.

admin prune: New builtin for cleaning up deployments and repo

After a while of pull-deploy cycles, you start to accumulate a lot of
them.  While the deployment read-only part is hardlinked, the -etc
space adds up.

Additionally, the repository itself just gets large.

The new command "ostree admin prune" deletes everything except the
"current" and "previous" deployments.

deploy: Write refs into repo for current/previous deployments

We don't want this data to be gc'd by default by a prune.

prune: Report how much disk space we freed

Just nicer to see...

prune: Add option to traverse refs only

The previous code (unintentionally) only traversed from refs; so data
only reachable from previous commits would be deleted.  That shouldn't
be the default, but we do want to offer it as an option.

So add a --refs-only option.

traverse: Skip already traversed commits

This is just more efficient, since e.g. "ostree prune" may invoke
ostree_traverse_commit() multiple times for the same commit.

prune: Default to deleting loose objects, code cleanup

We're getting closer to matching 'git gc'.

admin: code cleanup

Refactor internal functions so they can be used by a later patch.

ostree.spec.in: Update from Fedora review comments

See https://bugzilla.redhat.com/show_bug.cgi?id=819951

Release 2012.12

ot-main: Ignore lt- prefixes in binary names

libtool is the best

https://bugzilla.gnome.org/show_bug.cgi?id=682438

admin: Add new pull-deploy command

Fetch the latest for the current tree, and deploy it in one go.

libgsystem: Update

Make ostree admin --help output more useful

At a minimum, it should list the available subcommands. This is
still not perfect, since there is no way to get at the help output
of the subcommands - getting that right needs more refactoring.

Signed-off-by: Colin Walters <walters@verbum.org>

core: quiet a compiler warning

core: Check out files before directories

Otherwise we pretty easily hit maximum FD limits =(

core: Ensure correct file data is synced in non-overwrite case

core: Use linkat() rather than link() in threaded checkouts

This seems to work around a likely Linux kernel VFS bug, where I
randomly see ENOENT on link() when we *definitely* called mkdir() at
an earlier point in time.

core: And one more race in multithreaded mkdir -p

Sigh =(

core: Fix devino speedup for archive-z

core: Rework archive-z mode to have header be uncompressed

This is an incompatible change to archive-z, thus it is now renamed to
archive-z2 and ostree will no longer parse archive-z.

I noticed in perf that we were spending some time zlib-decompressing
file headers, which is just inefficient.  Rather than do this, keep
the headers uncompressed, and just zlib-compress content.

core: Call fdatasync() before we rename()

Just noticed this from strace, doesn't really matter, but looks nicer.

checkout: Drop uncompressed object GC for now

It's racy when multiple processes are involved, and needs a bit more
thought.

core: Fix case where we hardlinked successfully but thought we didn't

We need to return hardlink_supported even if we had to do an unlink
first.

core: A few more error-prefixings

core: One more minor tweak to recursive directory creation

We would fail in the case where we were trying to create a
subdirectory of /; this didn't actually happen, just noticed
via code inspection.

core: Prefix some error messages

To help debug why I still have this race condition...

core: Threadsafe recursive direction creation is harder than it appears

core: Fix regression in previous commit

core: Make mkdir -p function safer

Recursing here is just a more obvious way to do it, rather than
relying on the semantics of g_file_make_directory_with_parents().

core: Ensure file data is synced to disk when checking out via non-hardlinks

Otherwise we aren't crash-safe.

repo: Avoid race condition in threaded checkout with symbolic links

We were inconsistently putting symbolic links into the uncompressed
object cache, which could cause the threaded checkout to get confused.

core: Add dynamic uncompressed object cache for archive-z

This gives us something closer to the advantages of archive and
archive-z when using the latter.  Concretely we get deduplication
among multiple checkouts, along with the "devino" hash table trick
during commits to avoid checksumming content again.

This is enabled by default.

pull: Print elapsed time

core: Only do devino scan on commit (speeds up pull)

When fetching data remotely, there's no point to the devino scan
because we're not going to be committing local files.

Only do it for "commit".

pull: Ensure worker queue finishes if we unhold an empty queue too

pull: Stage content asynchronously

For similar reasons as metadata, this avoids having the main thread
blocked in fdatasync(), and even better - we can achieve much higher
parallelism if we have multiple threads blocked on fdatasync().

pull: Stage metadata objects asynchronously

This avoids the main thread being blocked on fdatasync(); also as a
bonus we checksum metadata in a separate thread too.

pull: Ensure queued filemeta requests don't starve everything else

We need this hack for "archive mode" repositories; otherwise,
what ends up happening is that we get 10000+ requests pending
for .filemeta files, which we can't process until we also get
the .filecontent.

Note this hack is unneccessary when fetching from archive-z
repositories.

pull: Merge metadata and content fetch phases

This is a notable speedup when the metadata scanner is working, and we
don't have a lot of traffic; we can pull down data at the same time.